GUI-Primitives: Diagnosing Spatial Reasoning Failures in Vision-Language GUI Grounding
GUI-Primitives：诊断视觉语言模型 GUI 空间推理失败的基准
🧭 GUI Agent 空间推理评估基准
University of Southern California · USC Information Sciences Institute · Qatar Computing Research Institute (QCRI)
构建对比指令对基准，解耦候选定位与关系理解，揭示 VLM 在 GUI 元素定位的主要瓶颈是候选定位而非空间关系推理
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 落地 GUI 自动化时，可借鉴对比指令对方法：固定截图和锚点，只改变关系表达式，构造最小差异样本，低成本排查模型是“找错元素”还是“看不懂关系”。
- 该基准显示模型输出坐标大量落在候选框外（60–92%），工程实现中应避免让 VLM 直接回归任意坐标，可先接一个候选区域检测器（如 OCR/图标检测），再用 VLM 做区域内选择或关系判断，或对输出坐标做约束/后处理。
- 论文的 oracle 诊断：把两个候选框标记在图上，选择准确率提升 35–57 个百分点，说明“给定候选集后模型关系理解尚可”。业务上可用于两阶段 pipeline：召回候选元素（如商品卡片、按钮）后，再让 VLM 根据指令选择目标，降低定位错误。
- 评估 Agent 时，建议同时报告 strict point-in-box 与 conditional accuracy，区分候选定位失败与关系理解失败；这比单一 Overall Acc 更能指导模型迭代方向。